теория информации и измерение текста
- теория информации и измерение текста
Теория информации (информатика) ориентирована не на содержательную сторону передачи и хранения информации, а на ее статистическую структуру. Статистическая структура текста понимается как частота появления в сообщении сигнала (символа) (это вероятность, обозначаемая знаком р и сочетаний сигналов – условная вероятность, обозначаемая pi). При многократном повторении сигнала важно определить количество информации, передаваемой сигналом. Количество информации приравнивается к мере недостающей информации, т.е. к величине неопределенности. Такое количество информации называется энтропией. Она характеризует ситуацию перед получением сигнала в большей степени, чем сам сигнал. Неопределенность ситуации, а вместе с нею и количество информации возрастает с увеличением числа сигналов. При одинаковом числе сигналов неопределенность наибольшая в том случае, если вероятность появления всех сигналов равновероятна.
Величина неопределенности Н связана с вероятностями по формуле
H = -Σp(i)log2p(i)
где вероятность сигнала i обозначена через p(i), i принимает значение 1, 2 ... n;
Σ – знак суммы [р(1) log2 p(l)+p(2)log2 р(2)+.. +р(n) log2 р(n)].
Словарь лингвистических терминов: Изд. 5-е, испр-е и дополн. — Назрань: Изд-во "Пилигрим".
Т.В. Жеребило.
2010.
Смотреть что такое "теория информации и измерение текста" в других словарях:
Энтропия (теория информации) — Энтропия (информационная) мера хаотичности информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в… … Википедия
Информация — (Information) Информация это сведения о чем либо Понятие и виды информации, передача и обработка, поиск и хранение информации Содержание >>>>>>>>>>>> … Энциклопедия инвестора
ЭСТЕТИКА — (от греч. aisthetikos чувствующий, чувственный) филос. дисциплина, изучающая природу всего многообразия выразительных форм окружающего мира, их строение и модификацию. Э. ориентирована на выявление универсалий в чувственном восприятии… … Философская энциклопедия
Информация — I Информация (от лат. informatio разъяснение, изложение) первоначально сведения, передаваемые одними людьми другим людям устным, письменным или каким либо другим способом (например, с помощью условных сигналов, с использованием… … Большая советская энциклопедия
Информационная энтропия — Информационная энтропия мера неопределённости или непредсказуемости информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ… … Википедия
Условная энтропия — Энтропия (информационная) мера хаотичности информации, неопределённость появления какого либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в… … Википедия
КОГЕН — (Cohen) Герман (1842 1918) немецкий философ, основатель и виднейший представитель марбургской школы неокантианства. Основные работы: ‘Теория опыта Канта’ (1885), ‘Обоснование Кантом этики’ (1877), ‘Обоснование Кантом эстетики’ (1889), ‘Логика… … История Философии: Энциклопедия
Медицина — I Медицина Медицина система научных знаний и практической деятельности, целями которой являются укрепление и сохранение здоровья, продление жизни людей, предупреждение и лечение болезней человека. Для выполнения этих задач М. изучает строение и… … Медицинская энциклопедия
Вселенная — Крупномасштабная структура Вселенной как она выглядит в инфракрасных лучах с длиной волны 2,2 мкм 1 600 000 галактик, зарегистри … Википедия
ИОАНН ДУНС СКОТ — [лат. Ioannes (Johannes) Duns Scotus] († 8.11.1308, Кёльн), средневек. философ и богослов, католич. священник, член монашеского ордена францисканцев; в католич. Церкви прославлен в лике блаженных (пам. зап. 8 нояб.). Жизнь. Иоанн Дунс Скот. 1473… … Православная энциклопедия
